14 Schätzmethoden. Eigenschaften von Schätzungen ˆθ. Sei ˆθ n eine Schätzung eines Parameters θ, die auf n Beobachtungen beruht.

Transkript

1 14 Schätzmethoden Egenschaften von Schätzungen ˆθ Se ˆθ n ene Schätzung enes Parameters θ, de auf n Beobachtungen beruht. ˆθn n θ Konsstenz (Mnmalforderung) Eˆθ n = θ Erwartungstreue Eˆθ n n θ Asymptotsche Erw.treue 573 W.Kössler, Humboldt-Unverstät zu Berln

2 var ˆθ n möglchst klen: gute, effzente Schätzung wenn var ˆθ n den klenstmöglchen Wert annmmt für alle e-treuen Schätzungen: ˆθ n : optmale Schätzung 574 W.Kössler, Humboldt-Unverstät zu Berln

3 MSE = var ˆθ n + bas 2 ˆθn = var ˆθ n + (Eˆθ n θ) 2 mnmal oder möglchst klen. Egenschaften sollten möglchst auch be (klenen) Abwechungen von der (Normal-)Vertelungsannahme gelten robuste Schätzung. 575 W.Kössler, Humboldt-Unverstät zu Berln

4 Schätzmethoden Momentenmethode Man drückt den zu schätzenden Parameter durch de Momente, z.b. E(X), aus. Dann werden de Momente durch de entsprechenden emprschen Momente, z.b. durch X, ersetzt. Maxmum-Lkelhood-Schätzung (ML-Schätzung) Es wrd der Schätzwert für den unbekannten Parameter ermttelt, der am mesten für desen Paramter sprcht (most lkely). 576 W.Kössler, Humboldt-Unverstät zu Berln

5 Klenste-Quadrat-Schätzung (KQS) Se θ der zu schätzende Parameter. Man geht aus von enem Modell, z.b. Y = g(θ,x ) + ɛ Dannn versucht man de Summe der Fehlerquadrate n =1 n ɛ 2 = (Y g(θ,x )) 2. =1 zu mnmeren (Klenste Quadrate). 577 W.Kössler, Humboldt-Unverstät zu Berln

6 Bsp. 97 (Momentenschätzung be Normalvertelung) Seen X 1,...,X n N(µ,σ ). µ = EX = ˆµ = X σ 2 = E(X EX) 2 = ˆσ 2 = (X X) 2 = 1 n n (X X) 2 Bsp. 98 (Momentenschätzung be Exponentalvertelung) Seen X 1,...,X n Exp(λ). λ = 1 EX = ˆλ = 1 X =1 578 W.Kössler, Humboldt-Unverstät zu Berln

7 Bsp. 99 (Momentenschätzung be Bnomalvertelung) Seen X 1,...,X n B(1,p). p = EX = ˆp = X der relatve Antel der Realserungen x = W.Kössler, Humboldt-Unverstät zu Berln

8 Bsp. 100 (ML-Schätzung be Bnomalvertelung) Beobachten n=1000 Jugendlche. Stchprobe (X 1,...,X n ) X = 1 X = 0 falls Übergewcht festgestellt sonst. De Wkt., daß de beobachtete Stchprobe auftrtt, wenn der Parameter p vorlegt st P(X 1 = x 1,...,X n = x n ) = wobe k = n =1 x. ( ) n p k (1 p) n k, k Der ML-Schätzer st der Wert, der dese Funkton, L n (p), Lkelhood-Funkton genannt, bzgl. p maxmert. Maxmeren 580 W.Kössler, Humboldt-Unverstät zu Berln

9 statt L n (p): log L n (p) (Arg.Max. st dasselbe). ln L n (p) = ln (( ) n p k (1 p) n k) k = ln (( ) n ) + k ln p + (n k) ln(1 p). k Ableten nach p und Nullsetzen lefert: De enzge Lösung st: k p n k 1 p = 0 ˆp = k n = 1 n Für en relatves Extremum n (0,1) kommt nur deser Wert n Betracht. 581 W.Kössler, Humboldt-Unverstät zu Berln n =1 x

10 Müssen aber noch de Lkelhood-Funkton an den Rändern betrachten: Für p = 0 und p = 1 wrd ln L(p) =. Also: ˆp ML = k n. 582 W.Kössler, Humboldt-Unverstät zu Berln

11 Bsp. 101 (ML-Schätzung be Normalvertelung) Lkelhood: f X1,...,X n (x 1,...,x n ), de gemensame Dchtefunkton der X. Seen X 1,...,X n unabhängg, X N(µ, 1). 583 W.Kössler, Humboldt-Unverstät zu Berln

12 Lkelhood: L n (µ) = = n f X (x ) =1 n =1 1 2π e (x µ) 2 /2 ln L n (µ) = n ln( 2π) + L n (µ) µ = 2 Nullsetzen lefert: n (x µ) =1 ˆµ = X. (Unabhänggket) n =1 ( (x µ) 2 2 ) 584 W.Kössler, Humboldt-Unverstät zu Berln

13 Bsp. 102 (ML-Schätzung be Glechvertelung auf (0,θ)) Lkelhood: f X1,...,X n (x 1,...,x n ), de gemensame Dchtefunkton der X. Seen X 1,...,X n unabhängg, X R(0,θ), d.h. f X (x ) = 1 θ falls 0 x θ 0 sonst Lkelhood: L n (θ) = = n f X (x ) =1 (Unabhänggket) 1 θ n falls 0 x θ x 0 sonst 585 W.Kössler, Humboldt-Unverstät zu Berln

14 Maxmal, wenn θ x 1,...,x n, und wenn θ möglchst klen, also ˆθ = max(x 1,...,x n ). 586 W.Kössler, Humboldt-Unverstät zu Berln

15 Bsp. 103 ( KQS des Lageparameters) Modell: Y = µ + ɛ De Summe der Fehlerquadrate n =1 ɛ 2 = n (Y µ) 2. =1 mnmeren: Dfferenzeren und Nullsetzen lefert: ˆµ KQS = Y. 587 W.Kössler, Humboldt-Unverstät zu Berln

16 Bsp. 104 (KQS m enfachen lnearen Regressonsmodell) Y = θ 1 + θ 2 X + ɛ 1 n 1 n f(x,θ 1,θ 2 ) = θ 1 X + θ 2 f θ 1 = X f θ 2 = 1 n (Y (θ 1 X + θ 2 )) X = 0 =1 n (Y (θ 1 X + θ 2 )) 1 = 0 =1 588 W.Kössler, Humboldt-Unverstät zu Berln

17 X Y θ 1 X 2 θ 2 X = 0 Y θ 1 X θ 2 n = 0 De zwete Glechung nach θ 2 auflösen: θ 2 = 1 n Y θ 1 1 n X und n de erste ensetzen: 589 W.Kössler, Humboldt-Unverstät zu Berln

18 X Y θ 1 X 2 1 Y n X +θ 1 1 n X X = 0 X Y 1 ( Y X θ 1 ( X 2 1 ) X X = 0 n n ˆθ 1 = X Y 1 n X X2 1( n X ) 2 ˆθ 2 = 1 ( Y n ˆθ ) 1 X Y = S XY S 2 X 590 W.Kössler, Humboldt-Unverstät zu Berln

19 Se θ en zu schätzender Parameter ener Populaton mt Dchte f. Se ˆθ = θ n ene erwartungstreue Schätzung von θ. Dann glt de Cramer-Rao-Unglechung: wobe var(ˆθ) 1 ni(f,θ), I(f,θ) = E ( ln f(x,θ) θ ( ln f(x,θ) ) 2f(x,θ)dx = θ de sogenannte Fsher-Informaton st. ) W.Kössler, Humboldt-Unverstät zu Berln

20 Bespele a) f normal, f(x,µ) = 1 e (x µ)2 2σ 2 2πσ ln f(x,µ) = ln( 2πσ) ln f(x,µ) µ = x µ 1 σ σ I(f,µ) = 1 σ 2 (x µ σ (x µ)2 2σ 2 ) 2 f(x,µ)dx = 1 σ 2. Also: varx σ2 n. 592 W.Kössler, Humboldt-Unverstät zu Berln

21 Verglechen Se mt: varx = 1 n 2 n =1 varx = σ2 n. 593 W.Kössler, Humboldt-Unverstät zu Berln

22 b) f exponental f(x,λ) = 1 λ e 1 λ x falls x 0 0 sonst. Es glt: I(f,λ) = 1 λ 2 (ÜA, 2 P.) De Cramer-Rao-Schranke st also: 1 ni(λ) = λ2 n. Anderersets: varx = λ2 n. 594 W.Kössler, Humboldt-Unverstät zu Berln

23 c) F Doppelexponental (=Laplace) f(x,λ) = 1 1 λ e 1 λ x falls x e 1 λ x falls x < 0 λ 595 W.Kössler, Humboldt-Unverstät zu Berln

24 ln f((x,µ) = ln 2 ln λ + x 1 falls x 0 λ 1 falls x < 0 ln f(x,λ) = 1 λ λ + x 1 falls x 0 λ 2 1 falls x < 0 I(f,λ) = 1 ( ( 1 2λ 0 λ + x ) 2 x e λ 2 λ dx + 0 ( 1 λ x ) ) 2 x e λ 2 λ dx = 1 2λ λ 2 = 1 λ W.Kössler, Humboldt-Unverstät zu Berln

25 Cramer-Rao-Schranke Verglechen Se mt (ÜA) λ 2 n. varx = 1 n 2 n =1 varx = 2 λ2 n. Bem. 23 Für den Medan x 0.5 glt: var(x 0.5 ) 1 λ2 n. (zusätzlche frewllge ÜA, 10 P.) 597 W.Kössler, Humboldt-Unverstät zu Berln

26 Satz: Se f Dchte der Populaton, und ˆθ ene erwartungstreue Schätzung des Parameters θ. Dann glt: wobe var(ˆθ) 1 ni(f,θ), ( ln f(x,θ) I(f,θ) = E θ ) 2 falls der Erwartungswert exstert. Bewes: Se x = (x 1,...,x n ) ene unabhängge Stchprobe und L(x,θ) := n f(x,θ) =1 de sogenannte Lkelhood der Stchprobe. 598 W.Kössler, Humboldt-Unverstät zu Berln

27 Offenbar glt L(x,θ)dx = 1. R n und demzufolge (wr setzen voraus, Dfferentaton und Integraton dürfen vertauscht werden.) θ R n L(x,θ)dx = 0 R n θ L(x,θ)dx = W.Kössler, Humboldt-Unverstät zu Berln

28 Weter glt, da ˆθ erwartungstreu, θ Eˆθ = θ ˆθL(x,θ)dx = θ R n ˆθL(x,θ)dx = 1 R n L(x,θ) ˆθ dx = 1 R θ n }{{} ln L(x,θ) ˆθ L(x,θ)dx = 1 R θ n ( ) ln L(x,θ) E ˆθ = 1 θ 600 W.Kössler, Humboldt-Unverstät zu Berln

29 Auf den lnken Term n der vorletzten Glechung wenden wr de Cauchy-Schwarzsche Unglechung an, 601 W.Kössler, Humboldt-Unverstät zu Berln

30 1 = ln L(x,θ) ˆθ R θ n L(x,θ)dx θ θ L(x,θ)dx R } n {{} ln L(x,θ) = (ˆθ θ) L(x,θ)dx R θ n ( ) 2 ln L(x,θ) (ˆθ θ) 2 L(x,θ)dx L(x,θ)dx R n R θ ( n n =1 = var(ˆθ) ln f(x ) 2,θ) L(x,θ)dx R θ n n ( ) 2 ln f(x,θ) = var(ˆθ) L(x,θ)dx θ =1 R n = varˆθ n I(f). = W.Kössler, Humboldt-Unverstät zu Berln

31 De zu den gemschten Summanden gehörenden Integrale snd alle Null, ( j): ( )( ln f(x,θ) ln f(xj,θ) R 2 θ f(x,θ) = R θ 2 θ f(x j,θ) θ ) f(x,θ)f(x j,θ)dx dx j dx dx j = W.Kössler, Humboldt-Unverstät zu Berln